In 1979 ging Sugiyama naar de Tokyo University of Agriculture, waar hij in het schoolteam voetbalde. Nadat hij in 1983 afstudeerde, ging Sugiyama spelen voor Nissan Motors. Met deze club werd hij in 1988/89 en 1989/90 kampioen van Japan. Sugiyama veroverde er in 1983, 1985, 1988 en 1989 de Beker van de keizer en in 1988, 1989 en 1990 de JSL Cup. In 8 jaar speelde hij er 130 competitiewedstrijden. Hij tekende in 1991 bij Sumitomo Metal, de voorloper van Kashima Antlers. Hij tekende in 1994 bij Kyoto Purple Sanga. Sugiyama beëindigde zijn spelersloopbaan in 1996.
